சிவபெருமான் முதன்முதலில் படைத்த மலை இது என்று கூறுவர். அதனால் 'பழமலை' என்று அழைக்கப்படுகிறது. இத்தலத்தில் உயிர் நீங்குபவர்களுக்கு சிவபெருமான் திருவைந்தெழுத்தை உபதேசம் செய்வார் என்றும், அம்பிகை தம் ஆடையால் வீசி இளைப்பாற்றுவார் என்றும், காசியிலும் இத்தலம் சிறந்தது என்றும் கந்தபுராணம் கூறுகிறது. இத்தலத்தில் இறந்தவர் முக்தி பெறுவர் என்பதால் "விருத்தகிரி" என்றும் அழைக்கப்படுகிறது. மூலவர் சுயம்பு மூர்த்தி.

குரு நமசிவாயர் என்ற ஞானிக்கு நாள்தோறும் உணவளித்த அம்பிகை ஒருநாள் காலம் தாழ்த்தி வந்ததால் அவர் 'முதுமையால் கால தாமதமோ?' என்று கேட்டதால் அம்பிகை 'பாலாம்பிகையாக' காட்சி அளித்த தலம். பாலாம்பிகைக்கு தனி சன்னதி உள்ளது. சுந்தமூர்த்தி சுவாமிகள் இத்தலத்து இறைவனிடம் 12,000 பொன் பெற்று இறைவன் அருளால் இங்குள்ள மணிமுத்தாற்றில் போட்டு திருவாரூரில் பெற்றார். பஞ்சாட்சர மந்திரப்படி இக்கோயிலில் கோபுரம், தீர்த்தம், கொடிமரம், நந்தி, பிரகாரம், தேர் எல்லாம் ஐந்து ஐந்தாக உள்ளது.

இக்கோயிலுக்கு உள்ளே நுழைந்தவுடன் இடது பக்கத்தில் 'ஆழத்து விநாயகர்' சன்னதி உள்ளது. தரை மட்டத்திற்கு கீழே இச்சன்னதி உள்ளதால் விநாயகர் இப்பெயர் பெற்றார். இத்தலத்தின் தலவிருட்சமான வன்னி மரம் சுமார் 3000 ஆண்டுகள் பழமையானது என்று கூறப்படுகிறது. ஆதியில் இக்கோயிலுக்கு திருப்பணி செய்த விபசித்த முனிவர் வேலையாட்களுக்கு இம்மரத்தின் இலைகளைப் பறித்து கூலியாக வழங்குவார். அது அவர்களின் வேலைகளுக்கு ஏற்ப பொற்காசுகளாக மாறியது என்று கூறப்படுகிறது. சைவ சமயத்தில் 28 ஆகமங்கள் உள்ளன. இந்த 28 ஆகமங்களையும் 28 லிங்கங்களாக முருகப்பெருமான் உருவாக்கி வழிபட்ட கோயில் இங்குள்ளது.

சம்பந்தர் ஏழு பதிகங்களும், அப்பர், சுந்தரர் தலா ஒரு பதிகமும் பாடியுள்ளனர். அருணகிரிநாதர் இத்தலத்து முருகப்பெருமானைப் பாடியுள்ளார். மாசி மகத்தையொட்டி பத்து நாள் பிரம்மோற்சவம் நடைபெறுகிறது. காலை 6 மணி முதல் மதியம் 12 மணி வரையிலும், மாலை 4 மணி முதல் இரவு 9 மணி வரையும் நடை திறந்திருக்கும்.